Không ai biết rõ tên địa danh này có từ lúc nào. Chỉ có một điều chắc chắn rằng, tên gọi này được hình thành vì trước đây khu vực này có một tảng đá mang hình thù hao hao giống Ông Địa đang ngồi nhìn vào đất liền. Tảng đá này được hình thành từ tự nhiên chứ không phải do điêu khắc. Đầu tiên, một vài người dân sinh sống ở đây cho rằng đây là Ông Địa mà Trời ban tặng, họ bắt đầu lập am, thắp nhang để cầu tài lộc, buôn may bán đắt.[1]
Về sau, chính quyền cho rằng khu vực này có hoạt động mê tín dị đoan nên đã phá hủy tảng đá đó. Cho nên hiện nay, tảng đá hình thù giống Ông Địa không còn nữa, thay vào đó là bức tượng hình Ông Địa do người dân ở đây tạc lại và đặt trong một cái am. Các hoạt động thờ cúng ở đây chỉ mang tính chất cá nhân, không có tổ chức nào quản trị am này.